Wykorzystanie analizy wariancji do oceny zależności pomiędzy marką i wyświetlaczem a ceną smartfonów.
Analiza mocy wybranych testów normalności.
Analiza mocy wybranych testów normalności.
Karol Doliński
I. Wprowadzenie
Praca została podzielona na dwie części. Jedna z nich dotyczy analizy wariancji (rozdział III), natomiast druga skupia się na badaniach mocy wybranych testów normalności (rodział IV).
Rynek smartfonów jest jednym z bardziej dynamicznych rynków zarówno na świecie jak i w Polsce. Kilkunastu producentów prześciga się w dostosowywaniu swoich produktów do bieżących oczekiwań i potrzeb klientów. Natomiast tylko kilku z nich zdominowało rynek smartfonów. W Polsce najwięcej sprzedanych modeli można przypisać firmom: Apple, Samsung, Huawei oraz Xiaomi. Przez ostatnie 3 lata liczba kupionych przez Polaków urządzeń oscylowała wokół 10 mln rocznie, a odsetek społeczeństwa korzystającego ze smartfonów przekroczył 67%1.
Ceny smartfonów na rynku są bardzo zróżnicowane, wahają się od kilkuset do nawet 8 tysięcy złotych. Celem pierwszej części pracy (rozdział III) jest ocena zależności pomiędzy dwoma czynnikami: rodzajem ekranu danego urządzenia (OLED lub LCD) oraz producentem (Apple, Samsung, Huawei lub Xiaomi) a ceną smartfona.
Normalność rozkładu cechy jest bardzo częstym założeniem w testach statystycznych, tym samym dobór odpowiedniego testu statystycznego badającego normalność jest niezwykle istotny. Celem drugiej części pracy (rozdział IV) jest analiza mocy wybranych testów istotności, tak aby wyniki mogły stanowić podstawę do wybierania tych testów o największej mocy dla posiadanej liczby obserwacji. Badaniu zostanie poddana również hipoteza czy najmocniejszy test dla niewielkiej liczby danych pozostanie na czele rankingu wraz ze wzrostem liczby obserwacji.
II. Opis zbioru danych
Rozdział prezentuje sposób pozyskania danych, statystyki opisowe.
1. Analiza wariancji
Zbiór danych dla badania analizy wariancji składa się z trzech zmiennych:
- cena - zmienna objaśniana, ilościowa;
- producent - zmienna objaśniająca, jakościowa (cztery wartości: Apple, Samsung, Huawei lub Xiaomi);
- ekran - zmienna objaśniająca, jakościowa (dwie wartości: LCD lub OLED).
Źródło danych i sposób doboru obserwacji:
Dane zostały zebrane tak, by do każdego z czterech producentów przypisać po 10 obserwacji, po 5 dla każdego z dwóch typów ekranów. Wybrano najpopularniejsze modele wg wskazania sklepu internetowego x-kom (https://www.x-kom.pl/)
Dane zostały zebrane w dniu 24 maja 2020 roku z dwóch stron internetowych:
- https://www.x-kom.pl/ - zmienna: cena, producent;
- https://phonesdata.com/pl/ - zmienna: ekran
Przy gromadzeniu danych odnośnie ceny smartfonów nie uwzględniono akcji promocyjnych sklepu dotyczących niektórych z badanych urządzeń.
Statystyki opisowe
| Średnia | Odchyl..standardowe | Mediana | Min. | Max. | Skośność | Kurtoza | |
|---|---|---|---|---|---|---|---|
| Cena | 2725.25 | 1574.43 | 2674 | 499 | 5999 | 0.41 | -0.99 |
| Tabela 2: Statystyki opisowe dla zmiennej: cena |
Średnia cena badanego telefonu wynosi około 2725 zł i jest bliska medianie co świadczy o symetryczności badanej cechy. Odchylenie standardowe jest dosyć duże i wynosi ponad 1500 zł. Skośność jest prawostronna, co oznacza, że cena większości telefonów (choć nieznaczna większość) jest niższa od średniej. Ujemna kurtoza wskazuje na słabą koncentrację cechy wokół średniej.
Ze względu na niewielką liczbę danych oraz aby zachować równoliczność grup zdecydowano się nie usuwać trzech obserwacji odstających.
2. Moce testów normalności
Dla badania mocy testów normalności zbiór danych był dobierany losowo z trzech rozkładów:
- t-studenta o 3 st. swobody,
- \(\chi^{2}\) o 3 st. swobody,
- wykładniczego.
III. Analiza wariancji
Analiza wariancji, inaczej ANOVA (ang. analysis of variance) umożliwia badanie zależności pomiędzy ilościową zmienną objaśnianą a niezależnym czynnikiem klasyfikującym \(x_{j}\) , (gdzie j = 1, 2, …, n) o charakterze jakościowym. Celem przeprowadzania analizy wariancji jest uzyskanie odpowiedzi na pytanie czy źródłem zróżnicowania obiektów ze względu na zmienną y (objaśnianą) jest zróżnicowanie grup wyznaczonych przez kategorie zmiennej jakościowej czy może zróżnicowanie wewnątrz danej grupy2.
1. Założenia analizy wariancji
Istnieją trzy założenia analizy wariancji:
- niezależność zmiennych jakościowych (objaśniających);
- normalność rozkładu zmiennej ilościowej (objaśnianej) w populacjach;
- jednorodność wariancji zmiennej ilościowej (objaśnianej) w grupach3.
1.1. Normalność rozkładu zmiennej objaśnianej w populacjach
W badanich użyto dwóch testów do sprawdzania tego założenia:
- Test Shapiro-Wilka,
- Test Jarque-Bera.
Zestaw hipotez dla obu testów:
\(H_{0}:\) zmienna objaśniana ma rozkład normalny w populacjach
\(H_{1}:\) zmienna objaśniana nie ma rozkładu normalnego w populacjach
| Producent | Ekran | Zmienna objaśniana | Jarque-Bera: p-value | Shapiro-Wilka: p-value |
|---|---|---|---|---|
| Apple | LCD | cena | 0.77 | 0.63 |
| Huawei | LCD | cena | 0.70 | 0.35 |
| Samsung | LCD | cena | 0.74 | 0.41 |
| Xiaomi | LCD | cena | 0.62 | 0.12 |
| Apple | OLED | cena | 0.68 | 0.35 |
| Huawei | OLED | cena | 0.93 | 0.62 |
| Samsung | OLED | cena | 0.83 | 0.46 |
| Xiaomi | OLED | cena | 0.78 | 0.59 |
| Tabela 3: Wyniki testu normalności Shapiro-Wilka i Jarque-Bera |
Wniosek: Wszystkie wartości p-value są większe niż przyjęty poziom istotności (5%), dlatego brak jest podstaw do odrzucenia hipotezy zerowej. Zmienna objaśniana ma rozkład normalny w populacjach.
1.2. Jednorodność wariancji zmiennej objaśnianej w grupach
W badanich użyto dwóch testów do sprawdzania tego założenia:
- test Bartletta - test o dużej mocy, wrażliwy na założenie o normalności rozkładu cechy;
- test Levene’a - wykorzystywany, gdy nie można zagwarantować normalności rozkładu cechy.
Zestaw hipotez dla obu testów:
\(H_{0}: \sigma_{1}^{2} = \sigma_{2}^{2} = \dots = \sigma_{k}^{2}\)
\(H_{1}: \sigma_{i}^{2} \neq \sigma_{j}^{2}\) dla pewnych \(i \neq j\)
Wniosek: P-value dla testu Bartletta wynosi: 0.06, a dla testu Levene’a 0.31. Obie wartości są większe niż przyjęty poziom istotności (5%), dlatego brak jest podstaw do odrzucenia hipotezy zerowej. Zmienne objaśniane w grupach są jednorodne.
2. ANOVA
Model ANOVA pozwala zweryfikować trzy zestawy hipotez. W celu poprawy przejrzystości badania zastosowano następujące oznaczenia: E - ekran, P - producent.
| F | p-value | |
|---|---|---|
| ekran | 21.8 | 0 |
| producent | 14.6 | 0 |
| ekran : producent | 5.3 | 0 |
| Tabela 4: Wartość statystyki F oraz p-value dla modelu ANOVA |
Interakcje pomiędzy czynnikami E i P
\(H_{0EP}:\) brak interakcji pomiędzy czynnikami
\(H_{1EP}:\) istnieje interakcja pomiędzy czynnikami
Wpływ czynnika E
\(H_{0E}:\) czynnik E nie ma wpływu na zmienną objaśnianą
\(H_{1E}:\) czynnik E ma wpływ na zmienną objaśnianą
Wpływ czynnika P
\(H_{0P}:\) czynnik P nie ma wpływu na zmienną objaśnianą
\(H_{1P}:\) czynnik P ma wpływ na zmienną objaśnianą
P-value dla wszystkich trzech badanych zestawów hipotez jest mniejsza niż przyjęty poziom istotności (5%). Istnieją podstawy do odrzucenia hipotez zerowych we wszystkich trzech przypadkach.
Wnioski:
- Istnieje interakcja pomiędzy czynnikami E i P.
- Czynnik E ma wpływ na zmienną objaśnianą.
- Czynnik P ma wpływ na zmienną objaśnianą.
3. Analiza post hoc
Analiza wariancji odpowiada jedynie na pytania czy dany czynnik ma wpływ na zmienną objaśnianą czy nie. Innymi słowy czy średnie grupowe się różnią czy też nie. Aby odpowiedzieć na pytanie, które średnie są istotnie różne wykonuje się testy post hoc.
Test Tukey’a - powszechnie uważany za najlepszy ze wszystkich testów post hoc.
\(H_{0}:\) średnie są takie same
\(H_{1}:\) średnie nie są takie same
Weryfikacja hipotezy nastąpi w oparciu o wykres, na którym przedstawiono różnice pomiędzy dwoma grupami. Na wykresie poza średnią różnicą pomiędzy grupami zaznaczone są również przedziały ufności na poziomie 0.95. Jeżeli przedstawiony przedział ufności nie zawiera wartości zero, to wskazane dwie średnie różnią się istotnie na poziomie istotności 0.05.
producent : ekran
Wniosek: Statystycznie istotne różnice występują pomiędzy podgrupami (p-value < 0.05, odrzucenie hipotezy zerowej):
- Xiaomi LCD - Samsung OLED
- Xiaomi LCD - Huawei OLED
- Xiaomi LCD - Apple OLED
- Samsung LCD - Samsung OLED
- Samsung LCD - Apple OLED
- Huawei LCD - Samsung OLED
- Huawei LCD - Apple OLED
- Apple LCD - Xiaomi LCD
- Apple LCD - Samsung LCD
- Apple LCD - Huawei LCD
ekran
Wniosek: Statystycznie istotne różnice występują pomiędzy badanymi podgrupami (p-value < 0.05, odrzucenie hipotezy zerowej): OLED - LCD.
producent
Wniosek: Statystycznie istotne różnice występują pomiędzy podgrupami (p-value < 0.05, odrzucenie hipotezy zerowej):
- Apple - Samsung
- Apple - Xiaomi
- Apple - Huawei
4. Efekty eksperymentalne
Efekty eksperymentalne umożliwiają ocenę w jaki sposób zmienia się wiedza o wartości zmiennej zależnej ze względu na wiedzę o czynniku eksperymentalnym. Wyróżnia się następujące wskaźniki do badania efektów eksperymentalnych:
- \(\eta^{2}\) - proporcja całkowitej wariancji wyjaśnionej przez efekt eksperymentalny;
- \(\omega^{2}\) - estymator wariancji zmiennej zależnej wyjaśnionej przez zmienną niezależną (w całej populacji).
| eta | omega | |
|---|---|---|
| ekran | 0.19 | 0.18 |
| producent | 0.39 | 0.36 |
| ekran : producent | 0.14 | 0.14 |
| Tabela 5: Wartości wskaźników dla efektów eksperymentalnych |
Wniosek: Wszystkie wartości współczynników wynoszą min. 14%, co daje podstawy do wysunięcia wniosku o występowaniu silnych efektów eksperymentalnych.
IV. Moc testów normalności
1. Moc testu i wybrane testy normalności
Moc testu - prawdopodobieństwo odrzucenia hipotezy zerowej, gdy jest ona fałszywa. Czyli jest to prawdopodobieństwo niepopełnienia błędu drugiego rodzaju. Im większa jest moc testu, tym mniejsze jest ryzyko przyjęcia fałszywej hipotezy zerowej.
Wybrane testy normalności:
- Test Shapiro-Wilka
- Test Cramera von Misesa
- Test Andersona-Darlinga
- Test Kołmogorowa-Smirnowa
- Test Jarque-Bera
2. Badania
Sposób przeprowadzenia badań:
Każda symulacja oparta jest na 1000 losowań i polega na generowaniu losowych liczb z danego rozkładu i weryfikowaniu hipotezy o normalności próby. Interpretacja uzyskanych wyników uzyskanych w analizie mocy testów normalności zostanie przedstawiona w rozdziale IV. Podsumowanie.
Rozkład t-studenta o 3 st. swobody
Rysunek 4: Moc testów normalności (rozkład t-studenta o 3 st. swobody)
Rozkład chi-kwadrat o 3 st. swobody
Rysunek 5: Moc testów normalności (rozkład chi-kwadrat o 3 st. swobody)
Rozkład wykładniczy
Rysunek 6: Moc testów normalności (rozkład wykładniczy)
V. Podsumowanie
Wykorzystanie analizy wariancji do oceny zależności pomiędzy marką i wyświetlaczem a ceną smartfonów
Przeprowadzona analiza wariancji wykazała, że istnieją interakcje pomiędzy czynnikami „ekran” i „producent” oraz, że każdy z tych czynników wpływa na zmienną objaśnianą. Wyniki badań są zgodne z powszechnym przekonaniem, że jednym z ważniejszych czynników wpływających na cenę telefonu jest jego marka (producent), podobnie jak rodzaj ekranu. Interpretacja, którą dostarcza model ANOVA jest stosunkowo skromna, gdyż pozwala tylko odpowiedzieć na pytanie czy interakcje występują, dlatego przeprowadzono analizę post hoc. Badane efekty eksperymentalne wykazały we wszystkich trzech przypadkach wysoki wpływ badanych czynników na cenę, zwłaszcza wpływ producenta telefonu.
Pierwsza część dotyczyła interakcji pomiędzy dwoma czynnikami: producent oraz ekran. Bardzo duże różnice w średniej cenie występują pomiędzy telefonami marki Apple z ekranem LCD a modelami pozostałych trzech producentów również z ekranami LCD. Można więc stwierdzić, że modele Apple z ekranem LCD są o ponad 3 tys. droższe niż modele konkurencji. Pozostałe różnice dotyczą przypadków, że różnica wynika nie tylko z marki telefonu, ale również z typu ekranu. Z kolei telefony, które są wręcz identyczne pod względem ceny to modele Apple i Samsung z ekranami OLED – najdroższe urządzenia. Oraz modele marek Huawei i Xiaomi zarówno te z ekranem typu OLED jak i LCD – najtańsze dwie marki.
Druga część analizy post hoc dotyczyła równości średnich w podgrupach zmiennej ekran. Wynik testu Tukey’a nie pozostawiają wątpliwości, że średnie te nie są takie same. Warto zwrócić uwagę, że średnia różnica pomiędzy telefonem z ekranem LCD a OLED wynosi prawie 1400 zł.
Ostatnia część analizy dotyczyła zmiennej producent. Na podstawie wyników można stwierdzić, że istotne różnice w średniej cenie smartfonów występują pomiędzy telefonami firmy Apple a pozostałymi trzema. Potwierdza się stwierdzenie, że telefony Apple są droższe od innych. Dodatkowo najmniejsza różnica występuje na linii: Apple – Samsung, co jest spowodowane tym, że Samsung w swej gamie modelowej posiada zarówno tańsze jak i droższe modele, czego nie można powiedzieć o Apple. Należy podkreślić, że najbardziej zbliżone do siebie średnie ceny telefonów występują pomiędzy producentami: Xiaomi oraz Huawei. Telefony tych dwóch marek uplasowane są podobnie na rynku pod względem swoich cen.
Moce testów normalności
Moce badanych testów normalności są bardzo zróżnicowane. Na podstawie przeprowadzonych badań można zauważyć, że im próba jest mniejsza (mniej liczna) tym moc testu jest mniejsza. Również moc testu jest zróżnicowana ze względu na własności próby (największa widoczna różnica występuje pomiędzy badaniem z wykorzystaniem rozkładu \(\chi^{2}\) o małej liczbie st. swobody a rozkładem wykładniczym).
Najsłabszym testem w każdym z trzech przeprowadzonych badań okazał się być test Kołmogorowa-Smirnowa, który jest oparty o odległość supremum pomiędzy dystrybuantami empiryczną i teoretyczną. Jest to test stosowany nie tyle, do określania czy dana cecha ma rozkład normalny, ale do badania zgodności rozkładów. W omawianych badaniach porównywano zgodność rozkładu wylosowanej cechy do rozkładu normalnego.
W przypadku losowania danych z rozkładu t-studenta o 3 stopniach swobody najlepszym testem, ale tylko dla większej ilości danych, okazał się być test Jarque-Bera. Natomiast przy losowaniu z pozostałych dwóch rozkładów test ten znajduje się w dolnej części rankingu testów ze względu na ich moc.
Test Shapiro-Wilka okazał się być najmocniejszym testem normalności, nawet przy małej ilości danych. Można wskazać zależność, że test Shapiro-Wilka ma większą moc od testu Andersona-Darlinga, który z kolei jest silniejszy niż test Cramera von Misesa.
Przeprowadzone dane pokazały, że przy znacznej liczbie danych (dla rozkładu \(\chi^{2}\) o 3 st. swobody i rozkładu wykładniczego – około 100 obserwacji, a dla rozkładu t-studenta o 3 st. swobody – powyżej 200 danych) przestaje mieć znaczenie, który test wybierzemy, gdyż wszystkie mają tą samą, wysoką moc (za wyjątkiem testu Kołmogorowa-Smirnowa dla rozkładu t-studenta o niewielkiej liczbie stopni swobody).